年前的时候，我和@JessyJang一起花了60个小时，用AI做了一个我们真正意义上的短片故事 -《The Last Goodbye》。这是一个关于爱、死亡和克苏鲁，当然，还有希望的故事。这60个小时，我们基本是属于没睡觉的，通宵连夜干，有很多痛苦，甚至快干成了半个尸体，但是痛苦的故事，结尾总是快乐的。这一切的源头，要从Runway的Gen48开始说起。今年1月11号，Runway开启了第二届Gen48的报名，去年国庆期间的第一届Gen48错过了，所以这第二届，其实还是准备去玩玩的，主要，他送3w点数啊...3w啊...你就算不去比赛，那白嫖一下点数也挺好。。。
所以我跟Jessy就一拍即合，组队报了个名。
时间一眨眼，就来到了2月3号，北京时间晚上10点，Gen48正式启动。
题目很简单，给了3个类别，每个类别里面一堆元素，你自己自由组合，保证每个类别里，都有能用上的就行。
这个方法，其实就很“创意”，我们以前在做一些设计方面的创意训练的这时候，就会经常这么搞，你自己每个类别里去抽取元素，抽完了自己组合去想点子。
当时我们就把所有的元素都列了一个脑图，来组合看看，有什么可以借鉴参考的，毕竟...我们不是专业的编剧或者导演。还是需要一些借鉴，才能去完成我们的故事。
本身我们其实都非常喜欢“死亡”这个命题。
刘慈欣在《流浪地球》中有一个描述很有趣：
你在平原上走着走着，突然迎面遇到一堵墙，这墙向上无限高，向下无限深，向左无限远，向右无限远，这墙是什么？
"死亡。"
而在尼采的哲学中，死亡更不是终结，而是一种力量，一种促使个体超越现有自我，达到更高存在状态的动力。
永恒回归，简直就是对死亡最浪漫的诠释。
所以我们决定以很喜欢的孙熙然老师的《完美的死法》作为参考和基石，选用神秘的文件（死亡模拟实验记录）+一个孤独的守护者（人类最后没被古神异化的火种）+火山（火山死亡）这三点进行组合，去做我们的这个AI短片。
《The Last GoodBye》
经历了101次模拟死亡，一次次寻找完美的死法，直到最后，面临真正的死亡时，那宛如西西弗斯般的对生的不舍，直至带着信念重生的简单故事。
在定了方向之后，我们用了一晚上时间，用祖传excel拉了一个表，列了三幕的剧情，把大概的节奏、台词啥的都敲定了。
接下来，就开始正式的AI视频短片制作。
流程其实没啥可说的，定画风 - 定角色 - MJ V6画分镜 - Runway跑视频 - 做配音 - 找音效和音乐 - 剪映剪辑。
最开始的定画风，其实我们定的非常快，因为整个剧情都是偏科幻的，再加上我是小岛秀夫的死忠粉，所以我们只花了不到5分钟，就把画风定了：
《死亡搁浅》style
大概是这样使的：
有一些特殊的画风其实是可以用的MJ的-sref命令去定风格的，但是我们这个，prompt就可以直接写，固定后面的后缀，只改前缀画面就行：
________. death stranding style, surreal characters, muted colors, cinematic contour lighting, low contrast ProLog, award-winning composition, chromatic毕竟这次是做一个正儿八经的AI短片，不是什么AI预告片，瞎特么换人都没事，人物不说一模一样，那肯定难。但至少得大差不差，不能变化太大，要不然出戏太严重。
MJ的角色一致性没等到，写一大堆prompt也没必要，SD炼lora那整体出图美感又达不到要求，最后，实在搞不定，想到了一个投机倒把偷鸡摸狗去定人物一致性的小技巧：其实本身在做这个故事的时候，男主角的形象和声音在我脑海里就有一个完美的人选，《海边的曼彻斯特》的男主：卡西·阿弗莱克。他在演《海边的曼彻斯特》的时候，那股子丧了吧唧的劲，还有那一股子累觉不爱的眼神，简直跟我想要的我们AI短片男主的劲，一模一样。
于是，我们就直接在prompt里写：Casey Affleck...在角色的一致性上，就能保持的还行...这个技巧，纯属投机倒把，肯定是有侵权风险，所以不建议大家这么做，但是我们为了追求效果，也不为盈利，也特意挑选了一些不是特别像的...所以...还是说声抱歉。那两天我跟Jessy的聊天记录里，出现频率最高的两个词，就是：MJ V6更新了以后，对于语义理解能力虽然已经有了很大的加强，但是，依然，不敢重用。
还有一个镜头，是我希望在地下研究室，有男主和她老婆的相片，放在电脑旁边...然后...改了无数种Prompt，后面放弃了。还有从火山口往下跳的镜头（鬼知道特么的roll了多少张才有正常的姿势）...
这些是完全搞不定，只能用别的方式或者走意识流去替代掉了。而更多的一些分镜是，Roll出来了，总是还有点不满意的小问题，比如人脸窄了一些，比如电脑屏幕上有脏东西，比如多了个人等等问题，重绘还是需要抽卡，烦了。
出了一张图，差不多能用，有些小细节有问题，直接扔到PS里手动处理一下，几分钟就完事了，甚至比如多了个人多了个物体这种细节，10秒搞定...我们是一边做图，一边roll视频的，大部分的镜头，其实都是一些常规运动或者运镜。只有一些我有非常明确想要的效果的镜头，会上分层运动笔刷去控制。PS：多运动笔刷组合，真的很好用。比如这个植物生成的动画，就是用不同的笔刷刷了不同的叶子这个Delete模拟删除黑屏的动画，则是roll了二十多条，硬Roll出来的。整体其实没啥好说的，比如Image2Video目前控制力的上限也就在这了，都是非常常规的做法。配音的话，因为我们做的是英文对话，所以男主是直接扒了《海边的曼彻斯特》里Casey Affleck的5分钟的台词，机器人的声音是用了《流浪地球》里MOSS的声音，扔到11Labs里跑了个克隆。
11Labs其实整体还是抽卡，单句单句的抽，尽量不要一次性把所有句子都扔进去，抽到一条情绪不错的，再抽下一条。（PS：不要用11Labs跑中文，稀烂，中文请去用魔音工坊吧）这块就怎么说呢，音效都好弄，去网上下载无版权的或者直接剪映里面找，配乐也是，这次runway给了音乐库，如果没给的话，我一般都是去https://pixabay.com/里面找无版权的音乐。
而且因为我本质上，是一个非专业的选手，所以其实很多时候得跟着音乐的情绪去安排镜头节奏和剪辑，会跟专业的选手反过来。专业选手是安排好画面以后，再去做配乐，我这种野路子，是找到大概符合感觉的音乐后，再去做对应情绪的画面排布，如果时长不够，那就补镜头，如果音乐时长超了，那就剪音乐。
比如这首配乐，是我听完后，直接就产生就是它的感觉，最后的高潮，必须用它：从2月3号晚上10点，到2月5号晚上10点，48个小时，我们两个几乎就没睡觉。
第一幕做的还行，第二幕就开始赶工，第三幕，根本就不能看。而且，甚至我自己，到了后面两幕，都根本看不懂这个故事。本身这个概念，还有AI视频这种形式，就已经足够意识流了。要是连故事都特么看不懂的话，那观感，基本等于一坨屎。
我们做了一个艰难的决定：这个比赛，不参加了。我们好好再花一些时间，做完。做一个我们觉得满意的好片子，比交一个垃圾玩意去参赛，我们觉得，更重要。
于是我们又花了将近20个小时，从头顺了一遍故事，补了N多台词和镜头，重新剪了N遍。
比如男主的名字叫欧文，是致敬很喜欢的电影《一个叫欧维的男人决定去死》比如模拟死亡完美死法这个概念，是致敬《完美的死法》
比如现实稳定锚，则是致敬我最喜欢的克苏鲁和SCP基金会。比如机器人AI MOSS的设定，是致敬我最喜欢的对我影响最大的《流浪地球》比如我写的简介，是致敬我最喜欢的短片集《爱，死亡，机器人》有些事，不是为了流量，也不是为了所谓的名次，而是只想做一个自己满意的作品。以上，既然看到这里了，如果觉得不错，随手点个赞、在看、转发三连吧，如果想第一时间收到推送，也可以给我个星标⭐～谢谢你看我的文章。